Năm 1950, ông được điều vào quân đội giữ chức Cục trưởng Cục vận tải. Năm 1954, là Phó chủ nhiệm Tổng cục Hậu cần Quân đội Nhân dân Việt Nam, đặc trách nhiệm vụ đảm bảo hậu cần tiếp tế các chiến dịch, đặc biệt Đông Xuân 1953-1954, chuẩn bị nhu cầu đáp ứng lương thực chiến dịch Điện Biên Phủ.

Đến năm 1965, ông được điều trở lại quân đội, giữ chức Chủ nhiệm Tổng cục hậu cần, Ủy viên Quân ủy Trung ương với nhiệm vụ vận tải tiếp tế cho cách mạng miền Nam. Trên cương vị Chủ nhiệm Tổng cục Hậu cần, ông là một trong những lãnh đạo chủ chốt xây dựng con đường chiến lược đường mòn Hồ Chí Minh, mật danh 559, chi viện chiến lược cho chiến trường miền Nam. Đây là một nhiệm vụ rất nặng nề, Mỹ dùng chiến thuật không quân rải thảm bom trên tất cả các tuyến đường, đặc biệt khu Bốn và dọc tuyến đường Trường Sơn để ngăn chặn từ xa nguồn tiếp viện của miền Bắc cho chiến trường miền Nam. Ông cho dùng đường ống bơm xăng qua sông Lam, sông La vào Hà Tĩnh. Ý tưởng lập đường ống xăng dầu của ông vào thời điểm đó thật táo bạo, vượt sự hình dung của nhiều người, ngay cả địch cũng không thể ngờ tới. Trải qua 7 năm (1968-1975), dưới sự chỉ huy của tướng Đinh Đức Thiện, Đồng Sĩ Nguyên,…, bộ đội xăng dầu đã vượt qua những muôn vàn gian khổ và hy sinh đã xây dựng và quản lý vận hành được một tuyến đường ống chiến lược từ biên giới phía Bắc đến miền Đông Nam Bộ với chiều dài hơn 5.000 km, cùng hơn 100 khu kho có sức chứa trên 300.000m3. Đường ống xăng dầu trên báo chí Việt Nam được xem là "một kỳ tích của quân dân ta trong cuộc kháng chiến chống Mỹ, biểu hiện sức mạnh tổng hợp của chiến tranh nhân dân".

Tháng 9 năm 1974, ông làm Chủ nhiệm Tổng cục kỹ thuật.

Năm 1975, ông là đại diện Quân ủy Trung ương và bộ Tổng tư lệnh, Phó tư lệnh Chiến dịch Hồ Chí Minh.